[レポート] クラスメソッドxメソドロジック共催：イチから始めるデータ活用！『Fivetran編』を開催しました。

モダンデータスタック(MDS)

スズ

2024.03.22

こんにちは、スズです。

先日2024年03月21日（木）、クラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第5回開催回である『イチから学ぶFivetran』を開催しました。

当エントリではその内容についてレポート致します。

イベント概要

第5回目となる今回取り扱うテーマは『Fivetran』です。

ちなみにプレスリリースで告知・紹介を行ったシリーズ開催内容は以下の通りとなっています。

参考：

前回第4回目の開催レポートは以下をご参照ください。

データパイプライン構築のためのプラットフォームであるFivetranについて、デモをまじえつつご紹介しました。概要は以下の通りとなります。

Fivetranとは？
- データソースからデータウェアハウスへのデータ統合の自動化をになうサービス
- データ統合は、様々なデータソースのデータを1ヶ所にまとめること
- データ統合の方法にはETLとELTがある
ETLとELTについて
- ETLはデータの抽出、変換、ロードの順番で行う
- データをロードする前にユースケースに応じたデータモデルの作成が必要
- ELTは、データの抽出、ロード、変換の順番で行う
- 用途にあわせてデータウェアハウス上でデータマートを作成できる
Fivetranの特徴
- ユーザーがFivetranで行うのは、Destination（出力先）とConnector（データソース）の設定の2つ
- データロード後のテーブルはFivetranで定義済み
- データソースのデータの更新やスキーマの移行も自動で対応
- 使用したいデータソースのConnectorがない場合はリクエストもできる
データの変換について
- dbt Coreやdbt Cloudとの連携機能を搭載
- Quick Start Modelでは自社でdbtの環境を用意しなくてもデータの変換が可能
まとめ

資料内で出典として記載したWebサイトは以下のとおりです。

今回のウェビナーでは、白石様から「データ分析基盤の導入のポイント」についてご紹介がありました。

データの管理責任があるのはどこなのかを明確にする
- データ提供部門は、データをどこまで持っていくのか、管理範囲を全員で共通理解として持つ
- ここまで持ってきたらデータマネジメント基盤の責任範囲というように、範囲が変わる
開発を誰がやるのかを明確にする
- 予算は誰が持つのか、そこまでのデータの処理を誰が責任を持ってやるのか
利用現場ではどこのデータをさわれるのか、アクセス権の管理

セッション終了後は、全体を通して挙がっていた質問に対する回答タイムとなりました。挙がっていたものの中で主だったものについて下記に記載します。

A1. Fivetranのメリットとしては手間がかからないことにあると考えています。対応しているConnectorの数も多く、Connectorを使って接続するだけで設定が行えます。また、データの更新やスキーマの移行があった場合に、ユーザー側で対応が不要といった点がメリットになると考えています。

A2. クラウドのデータウェアハウスにスムーズに接続するという点では、Fivetranに一日の長があると思っています。スキーマの自動追随ができるようになっており、ソースデータが増えたということがあっても、Connectorで設定するだけで、SnowflakeやDatabricksのスキーマやテーブルは自動的に変更されます。また、Connectorがあらかじめ用意されており、数多くのConnectorを立ち上げることができることも大きな違いと考えています。